home *** CD-ROM | disk | FTP | other *** search
/ Practical Internet 2002 February / Practical Internet February 2002.iso / pc / Software / SiteBuilding / HTMLKit1.exe / {app} / Data / Template / Default / robots.txt < prev   
Encoding:
Text File  |  2001-12-06  |  821 b   |  31 lines

  1. #
  2. # This is an empty robots.txt file that can be used to indicate to 
  3. # WWW robots which parts of a web site should not be indexed.
  4. #
  5. # Following page has details on how to setup a robots.txt file and 
  6. # related security issues:
  7. #
  8. #   http://www.chami.com/tips/internet/010198I.html
  9. #
  10.  
  11.  
  12. # 1. Uncomment following two lines by removing "#" at the beginning to 
  13. # indicate that all robots should stay away from the /cgi-bin/ folder
  14.  
  15. #User-agent: *
  16. #Disallow: /cgi-bin/
  17.  
  18.  
  19. # 2. Following two lines indicate that robots named "WWW_Robot_Name"
  20. # should stay away from this site.
  21.  
  22. #User-agent: WWW_Robot_Name
  23. #Disallow: /
  24.  
  25.  
  26. # 3. Following two lines indicate that robots named "WWW_Wanderer_Name"
  27. # should not index files in the /private/ folder.
  28.  
  29. #User-agent: WWW_Wanderer_Name
  30. #Disallow: /private/
  31.